import org.apache.spark.{SparkConf, SparkContext}

object scala4213 {
  def main(args: Array[String]): Unit = {
    // 创建Spark配置
    val conf = new SparkConf().setAppName("DistinctExample").setMaster("local[*]")
    // 创建SparkContext
    val sc = new SparkContext(conf)

    // 创建RDD
    val rdd = sc.makeRDD(List(('a', 1), ('a', 1), ('b', 1), ('c', 1)))
    // 使用distinct()方法对RDD进行去重
    val distinctRDD = rdd.distinct()
    val result = distinctRDD.collect()
    result.foreach(println)

    // 关闭SparkContext
    sc.stop()
  }
}